跨网日志审计及用户行为溯源研究
摘 要
传统安全日志审计系统功能日趋完善，可通过标准协议或安装代理软件的方式收集系统和设备的日志进行分析处理并综合展示。但传统日志审计也存在一些短板，如在跨应用域、跨网络域场景下，传统日志审计系统无法以统一身份对用户行为进行分析溯源。针对跨网数据交换场景中跨网日志审计及用户行为溯源需解决的关键问题进行了深入研究，提出了跨网日志审计系统框架，可为跨网数据交换和业务协同场景下日志审计和用户行为溯源提供参考。
内容目录：
1 需求分析
1.1 跨应用域日志审计需求
1.2 跨网络域日志审计需求
1.3 用户行为分析及溯源需求
2 技术途径
2.1 跨应用域日志审计
2.2 跨网络域日志审计
2.3 用户行为分析及溯源
3 跨网日志审计系统设计
3.1 系统架构设计
3.2 日志采集子系统设计
3.3 日志数据存储及交换子系统设计
3.4 行为分析及溯源子系统设计
4 跨网日志审计系统主要流程
4.1 日志收集及跨网汇总流程
4.2 跨网用户行为溯源流程
5 结 语
随着网络安全法、等级保护 2.0 及国家、行业相关安全标准、规范的颁布和实施，信息系统安全审计的作用越来越重要。日志审计系统可详细记录信息系统中网络设备、安全设备、软件系统的日志加以分析，及时发现系统异常情况并预警处置。安全日志审计系统不但能为信息系统的稳定运行保驾护航，也可在安全事件发生后对事件原因进行溯源追责。但传统日志审计系统也存在一些问题，如应用系统之间的关联性不强，将同一用户在不同应用系统的操作轨迹进行关联较为困难；在跨网应用环境中，传统日志审计系统在各网收集的日志数据相互独立，无法以统一视角对网络实体在多个网络域中的行为进行跟踪和溯源，而溯源能力薄弱是网络安全问题难以根治的根本原因之一 。因此，需针对跨网场景下的跨应用域、跨网络域日志审计、行为分析及追踪溯源新需求进行研究，补齐传统日志审计系统的短板。
1
需求分析
1.1 跨应用域日志审计需求
传统日志审计系统中，各个应用系统间的身份账户独立，用户针对应用系统操作的日志关联较弱，需借助外部统一身份管理系统建立统一的网络实体身份资源体系，通过网络实体标识关联不同应用域的用户操作，基于用户唯一网络实体标识进行跨应用域日志审计。
1.2 跨网络域日志审计需求
传统日志审计系统只能审计本网络域内的用户操作，无法跨越网络边界对用户操作行为进行审计。随着信息化的不断发展，跨网数据交换和业务协同场景越来越普遍，需打破网络域的限制，将用户和应用的网络实体标识信息在多个网络域之间同步共享，以全网统一视角对数据跨网交换过程中的用户行为进行安全审计。
1.3 用户行为分析及溯源需求
传统日志审计系统的主要功能包括收集系统日志进行关联分析，并在展示平台中展示分析结果或根据设定的策略告警，但在用户行为追踪溯源方面较为薄弱。跨网日志审计系统中，需针对用户行为分析及溯源技术进行深入研究，对网络实体在异构网络域中的行为进行跟踪和追溯。
2
技术途径
跨应用域日志审计、跨网络域日志审计和用户行为分析及溯源等技术是本文研究的重点，跨应用域日志审计和跨网络域日志审计重点解决应用系统和异构网络的日志孤岛问题，用户行为溯源在前两者的基础上，基于全网统一实体身份实现用户行为追溯。
2.1 跨应用域日志审计
针对跨应用域日志审计需求，需建立统一的网络实体身份资源体系，同一用户在不同的业务系统中以唯一的身份实体标识呈现，通过唯一身份实体标识关联不同应用域的用户操作行为，可实现跨应用域的用户操作安全审计。安全审计系统须和资源服务、统一身份认证等外部系统协同实现该目标。跨应用域日志审计框架如图 1 所示。
图 1 跨应用域日志审计框架
统一身份认证系统从资源服务系统获取用户实体身份标识，并基于实体身份标识完成用户注册。用户访问应用系统时，首先需通过身份认证获取令牌后访问业务应用，业务应用成功验证令牌后即可允许用户登录。业务系统写日志时，将从认证令牌中解析得到的用户实体身份标识作为用户行为操作主体，多个应用之间通过统一的用户实体身份标识即可实现跨应用域的操作日志关联审计。
2.2 跨网络域日志审计
数据跨网交换业务场景中，较常见的是应用和应用之间的数据交换和共享，以电子邮件跨网交换为例，如 A 网用户张三通过邮件系统向 B 网用户李四发送邮件，其示意图如图 2 所示。
图 2 具备本网审计能力的跨网邮件交换场景
跨网邮件交换场景中，本网应用只能写本网用户和应用的操作日志，用户通过 A 网邮件系统发送跨网邮件，其操作日志审计始于身份认证，止于跨网隔离交换系统。日志审计系统对用户和应用行为的追溯范围限定在本网范围内，无法基于全网行为链条对用户和应用在内的 A 网行为进行审计溯源。
针对上述问题，需扩大日志审计的作用范围，通过跨网隔离交换系统汇集日志信息，在网络中呈现全量日志，其示意图如图 3 所示。
图 3 具备全网审计能力的跨网邮件交换场景
两网资源服务系统需针对用户和应用产生全网唯一的实体身份标识，并在 A、B 网之间进行实体身份标识同步，实体身份标识在两网同步是设置用户和应用跨网访问权限的前提条件。A 网日志审计系统定期将跨网应用交换日志同步至 B 网日志审计系统，这样 B 网日志审计系统拥有全量日志信息，可基于实体身份标识对用户和应用在两网的行为进行追溯。
2.3 用户行为分析及溯源
2.3.1 用户行为分析
用户行为分析是指基于用户操作日志，利用数据挖掘分析技术对用户既有行为及其趋势进行分析研究，主要采用算法或模型构建等方式完成。用户行为分析技术主要包括聚类分析、关联分析、序列模式挖掘分析和行为特征库生成等。
（1）聚类分析。用户聚类分析首先采用基于用户相似度矩阵的用户事务聚类算法进行初始聚类，然后利用基于用户访问兴趣的聚类算法对初始聚类进行再聚类，从而得到最终的用户聚类。
（2）关联分析。用户关联分析基于上述日志信息聚类分析的结果，进一步处理得到网络实体身份标识主体与操作模式、操作行为之间的联系，进而提取实体资源行为之间的关联特征。
（3）序列模式挖掘分析。基于 PrefixSpan算法对各簇集进行序列模式挖掘分析，通过计算簇集中各序列模式的有用性度量值对模式进行判别，输出高效用的序列模式集。
（4）行为特征库生成 。行为特征库生成包括初始特征库建立、模糊数据关联挖掘等步骤。通过专家经验定义和日志数据关联规则挖掘等途径对异常行为规则进行定义，对上述经过聚类、关联、序列挖掘分析形成的数据进行模糊关联规则挖掘，从而生成用户行为特征库。
2.3.2 用户行为溯源
通过提取用户行为操作日志，基于数据分析方法将实体身份标识在一段时间内的操作行为归集为基于时序的行为序列，并以此为基础完成用户操作溯源。在具体设计中，可将用户操作行为详细定义为操作者、操作时间、操作位置、操作类型、操作内容等数据，基于数据分析引擎对多方数据统一关联分析，对用户在网络中的行为进行追溯。
3
跨网日志审计系统设计
3.1 系统架构设计
针对跨网日志审计需求并结合上述关键问题的研究成果，以 A 网和 B 网为例，设计跨网日志审计系统架构如图 4 所示。
图 4 跨网日志审计系统架构
跨网日志审计系统中，日志采集子系统采集安全设备、网络设备、主机设备和应用系统的日志，并对日志数据进行预处理后存储到日志存储及交换子系统，行为分析及溯源子系统从日志存储库中获取预处理之后的日志信息，基于实时关联分析和用户行为溯源技术实现用户行为分析和溯源操作。
资源服务系统和统一身份认证系统作为外部支撑系统，实现资源管理和用户统一身份认证等功能，并基于统一实体身份标识为跨网日志审计系统提供基础标识支撑。两网实体身份标识和日志数据需定期同步，跨网日志审计系统基于实体身份标识和两网完整日志对用户在两网的操作行为进行审计和溯源。
3.2 日志采集子系统设计
3.2.1 日志格式设计
日志是指安全设备、操作系统或应用系统对指定对象的操作和其操作结果按时间有序的集合，用于监控系统资源运行情况、发现异常行为、确定安全问题来源、提供电子证据及对用户行为进行审计。本研究中，通过将用户、应用等资源映射成实体身份标识，根据该标识可以对用户在网络空间的行为进行分析和追踪。参考syslog 日志格式，设计系统日志格式如图 5 所示。
图 5 系统日志格式定义
应用系统在写日志时，需将实体身份标识作为消息体关键字写入日志，通过全网统一的实体身份标识对用户、应用在本网和异网的行为进行审计溯源。
3.2.2 日志数据采集
日志数据采集子系统模型结构如图 6 所示。
图 6 日志数据采集子系统模型结构
本研究中，日志数据有两种来源：一是通过简单网络管理协议（Simple Network Management Protocol，SNMP）、网络流（NetFlow）、系统日志或系统记录（Syslog）等标准协议采集的网络设备、安全设备日志；二是日志代理收集的应用系统、跨网节点系统日志。网络设备、安全设备通过系统配置将日志主动上报至日志采集平台，在业务服务器和跨网交换节点设备上安装日志采集代理，将用户、应用在数据跨网交换与信息共享各个环节中的操作日志上传到日志采集平台，日志数据采集平台对日志数据经过清洗、转换、规约等预处理后传输到后端存储服务器进行存储。
3.2.3 日志数据预处理
原始日志数据存储在日志数据存储系统中，通过数据预处理流程后，将处理后的数据存储于日志数据库，供数据分析引擎提取数据进行分析。数据预处理基本流程包括数据清洗、数据转化和数据规约等流程。对数据中重复、多余部分的数据进行筛选并清除；把缺失部分补充完整，并将不正确的数据纠正或者删除。
（1）数据清洗。数据清洗是对日志数据进行筛选、填充和清除，其原理是对不完整或者异常的数据进行特征分析，分别采取数据补全或数据清除的方式进行处理，使数据满足质量要求。
（2）数据转换。将原始数据转换为挖掘模式要求的格式，数据转换主要有平滑、数据泛化、规范化、特征构造等方法。
（3）数据归约。通过对原始数据的处理得到数据集的归约表示，实现数据集明显变小，但基本保持数据特征的完整性，对挖掘的效果影响极小。数据归约的策略主要有数据维规约、数值规约等。
3.3 日志数据存储及交换子系统设计
本研究中，基于分布式数据存储技术存储应用操作日志和设备、系统、应用的日志数据，利用分布式数据存储技术多副本的特性，可提供更高级别的日志处理和存储安全。日志数据存储及交换子系统结构如图 7 所示。
图 7 日志数据存储及交换系统结构
数据存储层采用分布式存储系统实现，在各网数据中心分别布置一套分布式存储系统，通过元数据服务器主备和数据分片存储机制，提升日志数据存储和处理的容错性。在数据交换层中，提供日志查询接口，为网内其他系统提供精确或模糊日志查询能力，提供日志数据导入、导出接口，为日志跨网汇集提供支撑。
3.4 行为分析及溯源子系统设计
3.4.1 用户行为分析
用户行为分析子系统基于日志数据进行数据采集及特征值分析，以实体身份标识为特征值对信息流中的数据进行聚类分析和关联分析，构建用户行为序列及用户行为模式，将用户行为特征及行为模型存储到数据库中，为用户行为建模和统计分析提供支撑。用户行为分析框架如图 8 所示。
图 8 用户行为分析框架
用户行为分析以数据分析引擎为主体，基于全网统一实体身份标识对经过预处理的日志数据进行统计分析，采用聚类、关联、序列模式挖掘、行为特征库生成等数据分析方法建立可持续更新的用户正常行为模型，将用户当前行为序列与用户正常行为模型比较，以行为模式的差异程度来识别用户异常行为，并支持对用户异常行为进行统计分析及告警。
3.4.2 用户行为溯源
用户行为溯源通过提取用户行为操作日志，基于数据挖掘和行为分析技术完成行为序列模式挖掘，将实体身份标识在一段时间内的操作行为归集为基于时序的行为序列，在此基础上完成针对用户行为的溯源操作。用户行为溯源分析模型如图 9 所示。
图 9 用户行为溯源分析模型
在行为溯源模型中，用户操作行为被详细定义为操作者、操作时间、操作位置、操作类型、操作内容等数据，以用户操作行为为基准，详细追溯用户行为从状态 i 到状态 j 的转换过程，基于数据分析引擎对用户实体身份标识、用户操作行为和状态转换过程统一关联分析，最终呈现用户在网络中的行为轨迹，并将与安全事件相关的行为追溯记录存入证据数据库，为责任认定提供辅助决策支撑。
4
跨网日志审计系统主要流程
跨网日志审计系统流程主要包括日志收集及跨网汇总、跨网用户行为溯源等流程，在进行日志收集和行为溯源之前，需在各网资源服务系统生成身份实体标识并完成身份标识跨网同步，基于全网统一实体身份标识方可实现用户行为跨网追溯。
4.1 日志收集及跨网汇总流程
以 A 网向 B 网汇集日志为例，描述日志收集及跨网汇总流程如图 10 所示。
图 10 日志收集及跨网汇总流程
日志收集及跨网汇总流程如下：
（1）资源服务系统生成实体身份标识并发布给业务系统。
（2）用户通过身份认证后访问业务系统进行业务处理。
（3）业务系统上部署的日志采集代理将用户操作日志上报给日志采集子系统，日志中包括用户和应用的实体身份标识。
（4）日志采集子系统将日志存储到日志存储及交换子系统。
（5）日志存储及交换子系统发起日志跨网交换。
（6）日志数据经跨网隔离交换系统导入到 B网跨网日志审计系统中，B 网拥有全量日志数据。
4.2 跨网用户行为溯源流程
B 网汇集全网日志后，针对全量日志数据的跨网用户行为溯源流程如图 11 所示。
图 11 跨网用户行为溯源流程
跨网用户行为溯源流程如下：
（1）管理员访问跨网日志审计系统，发起跨网用户行为溯源。
（2）行为分析子系统从日志数据存储及交换子系统中获取日志数据。
（3）行为分析子系统根据日志信息中的实体身份标识从资源服务系统中查询该标识具体对应的用户身份。
（4）基于用户行为分析及溯源模型进行溯源分析，形成分析结果并展示。
5
结 语
本研究针对传统安全审计系统中存在的问题，基于异构网络实体身份标识和网络实体操作日志，重点研究跨应用 / 网络域日志审计、用户行为分析、用户行为溯源等技术，提出了适用于跨网应用场景下的安全审计及行为溯源技术框架，解决了传统日志审计系统中的多应用域日志关联弱、多网络域下用户行为溯源难等问题，可有效提升信息系统跨网审计预警、行为追踪和事后追责的能力和水平。
引用格式：陈林 , 汪超 , 侯杰飞 , 等 . 跨网日志审计及用户行为溯源研究 [J]. 信息安全与通信保密 ,2022(12):2-10.
商务合作 | 开白转载 | 媒体交流 | 理事服务
请联系：15710013727（微信同号）
《信息安全与通信保密》杂志投稿
联系电话：13391516229（微信同号）
邮箱：xxaqtgxt@163.com
《通信技术》杂志投稿
联系电话：15198220331（微信同号）
邮箱：txjstgyx@163.com